#retrieval evaluation

3 篇

Projecting BrowseComp-Plus onto ClimbMix: Toward More Realistic Corpora for Agentic Search

将 BrowseComp-Plus 投影到 ClimbMix：构建更真实的智能搜索评估语料

🧭 Agentic search 评估 · 语料投影

University of Waterloo

提出数据集无关的投影流水线，把 BrowseComp-Plus 问题证据迁移到 553M 文档的 ClimbMix，得到 57 个高置信评估样本

📌 工作参考价值（4 点）

构建离线评估集时，如果现有语料规模小且由 benchmark 自身支持文档和 hard negatives 组成，可以用投影 pipeline 把问题映射到大规模通用语料，再用自动验证+独立 agent+人工复核筛出证据完整的样本，避免评测泄漏和检索难度失真。
原子 reasoning hop 分解 + 逐 hop 证据定位的流程可以直接迁移到 RAG 或搜索 Agent 的训练/评测数据清洗，确保每个推理步骤都有对应文档支撑，减少幻觉式回答。
检索质量是 agentic search 的瓶颈：即使最终答案准确率只降 5 个点，evidence recall 从 84.3% 跌到 21.4% 说明检索侧严重不足。业务中应把 evidence recall 作为独立监控指标，与下游任务指标解耦。
发布的 projection pipeline 和 benchmark 可作为固定语料评估的模板，适合需要分离 Agent 推理能力与检索器能力的场景，例如电商搜索、推荐理由生成、客服 Agent 评测。

Eval | 2026-08-20 | cs.IR | score 7/10

LLM 的相关性信号呈逐层跨语言编码

🧭 LLM 内部相关性表征分析

The University of Queensland

线性探针可从 LLM 残差流激活中解码查询-文档相关性，中间层最准，且常优于模型直接生成的判断

📌 工作参考价值（4 点）

用探针替代显式 prompt 判断：在排序或过滤阶段，直接从 LLM 中间层提取相关性信号，可能比模型生成的标签更稳定，尤其当显式输出不可靠时（如长文档、多语言场景）。
层监控辅助决策：观察中间层探针准确率，可早期判断“模型内部是否已识别出相关性”，即使最终生成错误标签，也能触发 fallback 逻辑。
跨语言召回增强：虽然跨语言迁移弱于同语言，但部分层表现出的可移植性为多语言推荐系统提供了一种低成本扩展路径——可先用英文数据训练探针，再适配目标语言。
轻量级 reranker 设计：线性探针几乎零推理开销，可部署为粗排或特征信号，结合模型生成结果提升整体排序质量。

RecSys | 2026-07-17 | cs.IR | score 6/10

QO-Bench：诊断类型化事件元组检索中的查询操作符保持

🧭 检索增强生成 · 操作符保持诊断基准

Asian Institute of Digital Finance, National University of Singapore

提出QO-Bench基准，揭示现有RAG系统因丢失类型化值而无法正确执行数据库风格查询操作，核心瓶颈在操作符执行而非检索

📌 工作参考价值（4 点）

在电商RAG/Agent中处理“同时满足A和B的商品”等结构化查询时，应向显式抽取-执行管道（IE-to-SQL）倾斜，避免端到端LLM直接输出答案，以可靠支持join、intersection等操作符。
检索评估不能只看语义相关性，需验证答案是否精确命中所要求的全部实体；可借鉴QO-Bench的精确匹配与召回设计，构建离线算子级诊断，尤其对计数、交集场景更有必要。
即使将相关段落全部提供给长上下文模型，操作符执行准确率仍远未饱和，说明不能高估LLM推理能力；复杂结构化操作应卸载到确定性执行引擎，Agent工作流中可将LLM作为抽取器而非执行器。
对于实时性要求高的推荐或搜索场景，索引时预先抽取、存储类型化元组（如事件属性、数值），查询时直接执行算子，可大幅降低在线推理延迟并避免信息丢弃。

Eval | 2026-06-03 | cs.IR | score 7/10